CARL: Chat Assisted Reinforcement Learning
CARL：聊天辅助强化学习
🧭 LLM 辅助 RL 规范工程
Santa Clara University · Franklin Templeton
通过人机协同的十步规范工作流与自主工具循环，解决 RL 的规范与性能差距，避免奖励黑客和状态混叠
📌 工作参考价值（4 点）
- 在推荐/广告的强化学习项目中，reward hacking 与状态混叠是常见翻车点。可借鉴 CARL 的“先交互式确认 MDP + 奖励项权重，再生成训练代码”流程，让业务专家在建模前明确状态、动作、约束及多目标权重，减少上线后目标漂移。
- LLM 助手 persona + 步骤级 skill files 结构能引导非 RL 背景的业务/产品参与 RL 任务规范，适合内部自动化建模平台；紧凑决策摘要可跨迭代保留业务约束，避免长对话上下文过载，可直接复用到多轮需求澄清工具。
- 自主工具循环（生成-测试-调试）加训练后诊断重访，适合封装成半自动 RL pipeline 工具，把算法工程师从工程实现中解放出来，聚焦奖励设计与业务验证。
- 论文示例偏金融/控制，但工作流与 persona/skill 机制可迁移到电商强化学习系统的策略调试与参数治理。